Anthropic कंपनी ने अपने Claude श्रृंखला के बड़े भाषा मॉडलों ने "प्रॉम्प्ट कैश" की नई सुविधा की घोषणा की है, जिसका उद्देश्य व्यवसायों के लिए AI लागत को काफी कम करना और प्रदर्शन में सुधार करना है। यह सुविधा उपयोगकर्ताओं को विशिष्ट संदर्भ जानकारी स्टोर और पुनः उपयोग करने की अनुमति देती है, बिना किसी अतिरिक्त लागत या देरी के। सार्वजनिक परीक्षण में, Claude3.5Sonnet और Claude3Haiku मॉडल इस सुविधा का उपयोग करेंगे, जो 90% तक की लागत में कमी और कुछ मामलों में प्रतिक्रियाओं की गति को दोगुना करने की उम्मीद है। यह सुविधा विशेष रूप से उन उपयोगों के लिए उपयुक्त है जिनमें आवश्यकता है।

चाँद के暗面 के तहत Kimi खुला प्लेटफ़ॉर्म ने घोषणा की है कि संदर्भ कैश Cache स्टोरेज लागत में 50% की कमी की गई है। विशेष रूप से: Cache स्टोरेज लागत 10元/1M tokens/min से घटाकर 5元/1M tokens/min कर दी गई है।

कल, चाँद की अंधेरी सतह के तहत Kimi ओपन प्लेटफार्म ने घोषणा की कि संदर्भ कैशिंग (Context Caching) का सार्वजनिक परीक्षण शुरू हो गया है। यह तकनीक API की कीमतों में बदलाव किए बिना डेवलपर्स के लिए लंबे पाठ फ्लैगशिप बड़े मॉडल के उपयोग लागत को 90% तक कम कर सकती है, और मॉडल की प्रतिक्रिया गति में महत्वपूर्ण वृद्धि कर सकती है।

Kimi ओपन प्लेटफार्म ने हाल ही में घोषणा की है कि लंबे समय से प्रतीक्षित Context Caching फ़ीचर जल्द ही बीटा परीक्षण के लिए शुरू किया जाएगा। यह नवाचार फ़ीचर लंबे पाठ की बड़े मॉडल का समर्थन करेगा और एक प्रभावी संदर्भ कैशिंग तंत्र के माध्यम से उपयोगकर्ताओं को अभूतपूर्व अनुभव प्रदान करेगा। Kimi ओपन प्लेटफार्म के आधिकारिक स्रोत के अनुसार, Context Caching एक अत्याधुनिक तकनीक है, जिसका लक्ष्य दोहराए गए Tokens सामग्री को कैश करके उपयोगकर्ताओं के एक समान सामग्री अनुरोध के समय में लागत को काफी कम करना है। इसका कार्यप्रणाली स्मार्ट पहचान और स्टोर की गई पाठ की पुनरावृत्ति पर आधारित है।